PI : Décomposeur Audio¶

Membres du groupe : LENOBLE Louis, SANSON Dylan, ETIENNE Maxime, BAVOUX Thomas¶

Introduction¶

Dans le cadre de nos études en troisième année à l'INSA Rouen Normandie au sein du département ITI, nous avons reçu l'opportunité de participer au Projet Integratif de Décomposeur Audio. Celui-ci vise à renforcer et développer des compétences que nous avons abordé en cours. Dès lors, notre objectif était de concevoir un outil permettant de lire un fichier audio comportant plusieurs sources sonores et des les séparer. A terme, nous voulions pouvoir lire les sources de manière indépendante.

Dans un cadre plus général, c'est un problème connu et qui fait l'objet de recherches depuis de nombreuses années. En effet, la séparation de source est utilisé dans un large panel de domaines tels que :

• Audio et Musique :

Remixage (séparer instruments et voix).

Karaoké (extraire la voix pour obtenir une version instrumentale).

• Audiovisuel et Cinéma :

Post-production (suppression des bruits indésirables).

Doublage (isoler la voix originale pour la remplacer).

• Reconnaissance vocale :

Assistants vocaux (extraction de la voix dans un environnement bruité).

Multi-parleurs (distinguer plusieurs locuteurs dans une réunion).

• Santé et Médecine :

Appareils auditifs (amélioration de la parole dans le bruit).

• Télécommunications :

Suppression de bruit (amélioration des appels).

...

Bien qu'aujourd'hui, l'intelligence artificielle soit une solution très efficace et de plus en plus répendue, nous tenterons ici de trouver une autre solution.

Principe de résolution¶

Afin de résoudre ce problème nous avons distingué quatres grandes étapes qui vont nous servir de lignes directrices pour ce projet:

• Récupération et visualisation des sons

Importer des sons à étudier

• Visualisation fréquentielle du son

Etude et élaboration d'un spectrogramme

• Factorisation du spectrogramme

Trouver et comprendre une méthode de factorisation efficace

Optimiser la méthode de factorisation

• Reconstruction des sources indépendantes

Créer des fichiers audios des différentes sources

I) Importer les données¶

1) Charger les données¶

2) Ploter les données¶

II) Création du spectrogramme¶

Définition : Un spectrogramme est une représentation visuelle de l'évolution des fréquences d'un son en fonction du temps.

Pour créer un spectrogramme nous utiliserons la stft. La stft (short term fourier transform) ou transformée de Fourier à court terme en français est une transformée de Fourier spéciale réalisée sur un signal.

Le principe est de diviser le signal en un certains nombre de segments et de réaliser une transformée de Fourier sur chacun de ces segments. La longueur de ces segments est définie par le paramètre n_fft.

Mais lors de cette transformée de Fourier des problèmes de continuité peuvent se poser entre 2 segments, rendant l'affichage du spectrogramme moins lisible. Pour cela il est possible de faire en sorte que les transformées de Fourier de 2 segments consécutifs prennent certains éléments en commun, superposant ainsi ces valeurs lors de la transformée de Fourier. Ceci est géré par le paramètre hop_length.

Il est aussi possible d'utiliser une fenêtre spéciale grâce au paramètre window, si c'est ce le cas chaque segment va être multiplié par cette fenêtre. Souvent celle ci est une fonction dont les valeurs du début et celle de fin sont proches 0, permettant ainsi de minimiser les effets de discontinuité d'autant plus.

Une grande fenêtre permet une bonne résolution fréquentielle mais une mauvaise résolution temporelle comme montré sur les différents spectrogrammes. Une petite taille de fenêtre permet d'obtenir une bonne résolution temporelle mais une mauvaise résolution fréquentielle comme avec l'exemple des ondelettes montré plus tard.

1) Spectrogramme : mieux comprendre les differentes composantes (avec sklearn)¶

On commence par utiliser la fonction pour récupérer un spectrogramme. Celui ci ne subit aucun traitement et peut être amélioré.

On peut remarquer que plusieurs optimisations peuvent être appliquées afin d'améliorer les mesures et la lisibilté du spectrogramme:

• On remarque que les principales fréquences du son ne dépassent pas 3000Hz. On réduit alors la fenêtre.

• Pour mieux comprendre quelles sont les fréquences qui jouent un rôle important dans ce spectrogramme, nous pouvons réduire l'échelle à -80dB au lieu de -110dB.

• Comme la taille de la fenêtre dans laquelle nous travaillons est réduite, nous devons améliorer la précision des fréquences que nous allons mesurer. Pour cela nous allons augmenter la taille des fenêtres glissantes. En contrepartie, nous aurons moins d'échantillons au cours du temps.

Nous pouvons maintenant améliorer le résultat en utilisant un type de fenêtre différent et superposer les échantillons pour avoir une meilleure précision sur le temps.

2) Spectrogramme avec librosa¶

Maintenant que nous avons compris comment améliorer notre spectrogramme nous allons utiliser librosa. En effet, cette librairie génère automatiquement des spectrogrammes de bonne qualité.

3) Bonus : spectrogramme en utilisant les ondelettes.¶

Depuis le début nous représentons des spectrogrammes grâce aux transformées de fouriers à fenêtre glissante. Cela veut dire que la fenêtre dans laquelle nous effectuons notre transformée de fourier ne varie jamais. Bien que cette méthode reste très satisfaisante pour la décomposition du son, celle ci comporte quelques defauts. En effet, elle ne réussit pas à capter efficacement les détails du son (variations rapides des fréquences). Pour cela, nous pouvons appliquer la (CWT) "continuous wavelet transform" soit la transformée continue par ondelette. Cette méthode offre une bonne résolution à la fois en temps et en fréquence et qui est plus flexible que la STFT pour capturer des détails à différentes échelles de fréquence.

Bien que ce spectrogramme offre plus de détails, il est bien plus couteux en terme de calculs et plus difficile à implémenter dans la décomposition. Pour la suite, nous nous contenterons des données trouvées dans la partie 2).

3) Bonus : STFT à la main.¶

Maintenant que nous avons compris comment former un spectrogramme à l'aide d'outils mathématiques, nous vous proposons de créer ces sprectrogrammes à l'aide de la transformée de fourier, pour les 3 audios.\ Après avoir essayé avec plusieurs paramètres de taille de fenêtre et de chevauchement, c'est avec 2048 et 1536 qu'on a obtenu les résultats les plus concluants, notamment sur le plan des fréquences comme le précise le tableau ci-dessous. | Taille de la fenêtre (N) | Chevauchement (%) | Chevauchement (échantillons) | Utilisation recommandée | |---------------------------|-------------------|------------------------------|---------------------------------------------| | 256 | 75% | 192 | Sons rapides comme les percussions (bonne résolution temporelle). | | 1024 | 50% | 512 | Sons intermédiaires comme la voix humaine (équilibre entre résolution temporelle et fréquentielle). | | 2048 | 75% | 1536 | Sons longs ou lents comme le violon (meilleure résolution fréquentielle). |

III) Décomposition du son¶

0) Trouver la bonne méthode¶

L'objectif de cette partie est de trouver un moyen de séparer notre son en plusieurs sources sonores indépendentes. Pour cela, nous pouvons utiliser le spectrogramme et l'utiliser comme une matrice. Cette matrice sera donc utilisée pour en faire une décomposition et ainsi trouver les composantes du son et leurs activations. Afin de réaliser cette décomposition, plusieurs intuitions peuvent émerger. En effet, nous avons vu en cours d'ananum que de nombreuses méthodes existaient afin de décomposer une matrice. Cependant, il est important de comprendre que ces méthodes n'ont pas toute le même objectif. Nous essayerons alors de déterminer quelle est la stratégie de factorisation la plus adéquate.

Nous pourrions donc penser que les méthodes vu en cours pourraient être une bonne idée de factorisation comme la factorisation LU, PALU, Cholesky ou encore QR. Regardons alors en quoi ces méthodes ne conviennent pas pour cet exercice:

• LU / PALU :

Rapelons premièrement que la décomposition LU est une décomposition de matrices carrés et qu'il est presque impossible d'avoir un spectrogramme respectant cette condition. Ensuite, il est évident que cette méthode ne convient pas car cette méthode vise à optimiser la résolution d'une équation linéaire.

• Cholesky :

La décomposition Cholesky est utilisée pour factoriser une matrice symétrique et définie positive, en un produit de matrices triangulaires inférieures. Elle est utilisée dans la résolution de systèmes d'équations et l'inversion de matrices. Le spectrogramme n'étant pas symétrique (dans la majorité des cas) et ne cherchant pas à le factoriser en deux matrice inferieure, nous ne choisiront pas cette stratégie.

• QR :

La décomposition QR est, comme les décompositions LU et Cholesky, une méthode afin d'optimiser la résolution d'équations linéaire. Cette méthode ne sera donc pas retenue.

Maintenant que nous avons testé les méthodes vues en cours, cherchons d'autres factorisations :

• ACP :

L'ACP est une méthode utilisée pour la décomposition de données complexes, permettant de réduire la dimensionnalité tout en préservant l'essentiel des informations. Elle est particulièrement utile pour la compression de données, la classification, et l'extraction de caractéristiques dominantes dans le signal. Toutefois, elle présente des limites dans la capture des relations non linéaires. Le son étant un signal complexe, l'ACP ne nous sera pas utile dans ce cas. Nous pourrions cependant utiliser l'ACP afin de compresser un son et le rendre ainsi moins volumineux.

• NMF "Non-negative matrix factorization" soit la factorisation par matrices non-négatives:

La NMF est basée sur l'idée que les données peuvent être décomposées en facteurs dont tous les éléments sont non négatifs. C'est une contrainte importante qui se révèle très naturelle pour le traitement du son. En effet, les amplitudes des signaux sonores sont toujours positives ou nulles (en termes de puissance ou d'intensité sonore). Il n'a pas de sens que des composantes de l'audio aient des valeurs négatives, car les amplitudes de fréquence (dans un spectrogramme par exemple) sont toujours positives.

Cette méthode nous convient alors parfaitement car elle ne se base pas sur une relation linéaire du son et préserve le caractère positif des différentes composantes et activations.

Maintenant que nous avons trouvé quelle factorisation nous voulons effectuer, il nous reste à comprendre comment celle ci peut être calculée. Lors de nos recherches, nous avons trouver deux stratégies différentes et plutôt équivalentes:

• L'algorithme multiplicatif standard de la NMF.
• L'ALS "Alternate Least Square algorithm" soit l'algorithme des moindres carrés alternés. L'idée principale est de fixer alternativement l'une des deux matrices (W ou H) et de résoudre un problème de moindres carrés pour l'autre, puis de passer à l'autre matrice et de répéter l'opération.

Ici, nous étudierons plus particulièrement la méthode multiplicative de la NMF.

1) Qu'est ce que la NMF ?¶

Le but de la NMF est de pouvoir factoriser une matrice V en deux matrices non négatives W et H, tel que W@H approxime V.

Definition : Une matrice non négative est une matrice dont tous les éléments sont supérieurs ou égaux à zéro.

Matrice V : Dans le contexte du son, V représente typiquement un spectrogramme de l'audio.

Matrice W : Elle contient les "composantes" qui sont combinées pour reconstruire les sons observés. En d'autres termes, les colonnes de W sont les éléments qui composent les différentes sources. W aura donc le même nombre de colonne que de source.

Matrice H : C'est la matrice qui décrit comment les bases (de W) sont combinées pour recréer la matrice V. Les lignes de H indiquent les poids ou coefficients d'activation des bases dans W pour chaque "échantillon" de temps ou de fréquence de la matrice V.

Les mathématiciens derrière la NMF:

2) Une première représentation de la NMF :¶

Afin de mieux comprendre ce que nous cherchons, nous vous proposons de visualiser le résultat de la NMF pour décomposer le son du piano avec scipy.

3) Qu'est ce que l'algorithme derrière la NMF ?¶

Le problème de la NMF peut être formulé comme un problème d'approximation de matrice : min⁡ ∥V−WH∥²

Pour cela nous pourrions faire une déscente de gradient. Cependant, le fait de devoir toujours garder W et H non négative rend la descente de gradient impossible.

Ainsi, pour trouver W et H nous sommes obligé d'utiliser l'algorithme du gradient basé sur des mises à jour multiplicatives qui ajuste les valeurs à chaque itération. La formule associée à cet algorithme est :

$x_{n+1}$ = $x_{n}$ − $\gamma$ * ∇F(x(n))

Finalement, le pas optimal $\gamma$ doit être égale à :

Pour H : $\frac{H}{(W.T@W@H)}$

Pour W : $\frac{W} {(W @ H @ H.T)}$

Ici, la mise à jour de H va donc être:

$H(i,j)_{n+1}$ = $H(i,j)_{n}$ * $\frac{(W.T @ V)(i,j)}{(W.T @ W @ H)(i,j)+ϵ)}$

ϵ : est ajouter afin d'éviter les divisions par 0

La présence de W.T@V dans le numérateur vise à augmenter les éléments de H qui contribuent plus fortement à la reconstruction de V, tandis que W.T @ W @ H dans le dénominateur sert à corriger les termes surajustés et à maintenir la stabilité du processus.

De manière similaire, la mise à jour de W est donnée par :

$W(i,j)_{n+1}$ = $W(i,j)_{n}$ * $\frac{(V @ H.T)(i,j)}{(W @ H @ H.T)(i,j)+ϵ)}$

Cette mise à jour ajuste les valeurs de W de la même manière, en augmentant les éléments qui contribuent positivement à la reconstruction de V et en réduisant ceux qui sont trop importants par rapport à la structure actuelle de W@H.

• Attention : Cette méthode va nous permettre de trouver un minimum local et non un minimum global.

Voici une vidéo qui récapitule ce qui a été dit : Vidéo sur la NMF

Voici un exemple d'utilisation (toujours avec le piano):

4) Optimisation de cet algorithme : fonction de coût¶

Afin d'évaluer la qualité de notre résultat, nous pouvons utiliser des fonction de coût. Cela nous permet d'établir un seuil de précision du resultat. Voici différentes fonctions de coût:

• l'erreur quadratique, soit la norme de Frobenius entre V et W@H.
• la divergence de Kullback-Leibler
• la fonction de cout itakura saito

La mise à jour des matrices W et H peuvent ainsi varier :

Mise à jour de H : $H_{n+1}$ = $H_{n}$ * $\frac{(W.T @ ((W @ H)**(\beta-2) @ V)}{(W.T @ ((W @ H)**(\beta-1))+ϵ)}$

Mise à jour de W : $W_{n+1}$ = $W_{n}$ * $\frac{(((W @ H)**(\beta-2)) @ V @ H.T)}{((W @ H)**(\beta-1)) @ H.T +ϵ)}$

Cet algorithme offre une plus grande flexibilité par rapport à l'algorithme précédent, car nous pouvons choisir entre différentes divergences (β=0, β=1, β=2). Cela nous permet d'adapter l'algorithme à différents types de données et de problèmes. Par exemple, la divergence de Kullback-Leibler est souvent plus adaptée pour des données qui représentent des distributions de probabilité, tandis que la divergence d'Itakura-Saito est plus appropriée pour des applications de séparation de sources.

Voici un exemple d'application de cette optimisation :

5) Optimisation de cet algorithme : initialisation¶

Maintenant que notre algorithme de factorisation est bien défini. Nous pouvons nous occuper de l'initialisation de nos matrices W et H. En effet, depuis le debut nous les initialisons aléatoirement. Cependant, plusieurs méthodes existent afin d'initialiser correctement nos matrices et alors impacter la qualité de la décomposition :

• Si l'initialisation est mal choisie, l'algorithme peut converger vers un minimum local qui n'est pas la solution optimale.
• Une initialisation efficace peut accélérer la convergence de l'algorithme

Voici différentes manières d'initialiser nos matrices :

• plusieurs initialisations aléatoires de W et H, le meilleur ajustement est conservé
• (NNDSVD) "non-negative double singular value decomposition" qui utilise la décomposition en valeurs singulières (SVD) et utilise les valeurs et vecteurs propres pour créer des matrices initiales non négatives W et H.
• une classification (k-means) des lignes ou des colonnes. C'est un algorithme de clustering qui permet de partitionner un ensemble de données en un certain nombre k de groupes (ou de clusters). Chaque groupe est caractérisé par son centre, qui est la moyenne des points de données qui lui sont assignés. L'algorithme cherche à minimiser la somme des distances au carré entre chaque point de données et le centre du cluster auquel il appartient.

Finalement, voici un schéma qui répertorie l'ensemble des initialisations possibles pour réaliser une NMF :

Ici, nous nous concentrerons princiaplement sur la NNDSVD.

Voici ce que donne l'initialisation pour le piano :

Voici le résultat de la NMF avec l'initialisation NNDSVD :¶

6) Optimisation de cet algorithme : nombre de sources¶

Finalement, une des caractéristiques à determiner lors d'une NMF est le nombre de sources que nous voulons. Dans le contexte du son, il est évident que nous souhaitons avoir autant de composantes que de sources sonores, cependant dans d'autres contexte, nous voulons savoir quelle est le nombre de sources optimal afin de garantir une bonne reconstruction du son original tout en limitant la quantité de calcul.

Encore une fois, il existe une multitude de méthode afin d'évaluer le nombre de sources optimales afin de décomposer notre son. Ici, nous allons établir une stratégie simple:

• Tracé de l'erreur de reconstruction : Nous allons exécuter l'algorithme de NMF pour différents nombres de sources (par exemple, de 1 à 10) et tracer l'erreur de reconstruction en fonction du nombre de sources.

• Méthode du coude : Chercher le point où l'erreur commence à se stabiliser (le "coude" du graphique).

• Évaluation qualitative : Écouter les sources séparées pour nous assurer qu'elles correspondent aux sources attendues et qu'elles ont un sens dans le contexte de notre application.

Ici, nous comparerons l'évolution de la norme de frobenius au cours des itérations grâce à la première fonction de la NMF que nous avons implémenté. Ensuite nous comparerons l'erreur de notre matrice de reconstruction avec la matrice initiale pour pouvoir tracer le graphique de l'erreur en fonction du nombre de sources. Pour pouvoir voir plus précisement l'évolution de l'erreur, nous ferons une centaine d'itération à chaque fois.

Nous remarquons qu'à partir de 3 voie, l'erreur de reconstruction de la matrice initiale commence à baisser. Il n'est donc plus interessant de multiplier les sources, car cela va augmenter le nombre de calcul sans augmenter considérablement la précision. C'est plutôt logique dans le cas du piano, car nous jouons seulement trois notes différentes !

Bien que cette méthode soit simple à implémenter, il est évident que ce n'est pas une méthode acceptable. En effet, elle demande de calculer préalablement la NMF et ceci plusieurs fois ! C'est donc une méthode très coûteuse et dont le résultat est plutôt subjectif.

Nous avons donc pensé à une autre méthode qui pourrait être plus efficace et moins coûteuse. Nous pourrions utiliser la SVD et faire le calcul de la variance expliquée par les valeurs singulières afin de trouver le nombre de sources minimal pour reconstruire la matrice initiale pour une précision donnée.

Nous aurions voulu chercher et implémenter cette méthode, cependant nous n'avons pas eu le temps nécessaire.

IV) Reconstruction du signal¶

1) Reconstruction des sources¶

2) reconstruction du son initial¶

3) Affichage des sons reconstruits¶

V) Traitement des sons du sujets¶

Maintenant que nous avons vu et compris toutes les étapes nous permettant de résoudre le problème de décomposition de sources, voici une fonction générale qui nous permet d'afficher toutes les étapes de cette décomposition pour n'importe quel son. Afin de garantir un résultat cohérent et correct, nous avons décidé d'utiliser la fonction de scipy pour réaliser la NMF.
Les sources individuelles décomposées puis reconstruites sont enregistrées dans CHEMIN_SORTIE/. Il faut également savoir que pour nb_sources données, nb_sources + 1 sources sont reconstruites, la dernière correspondant à l'audio final reconstruit, à partir de la concaténation de l'ensemble des sources extraites.

PS :

• Attention au chemin d'entrée, actuellement défini par CHEMIN_ENTREE/nom_fichier.wav.
• Attention au chemin de sortie, actuellement défini par CHEMIN_SORTIE/source{num}.wav.
• Soyez patient, il faut plusieurs secondes pour certaines recompositions.

A présent, nous pouvons traiter les différents sons du sujet.

Audio Piano¶

Audio Cheval et Chat¶

Audio Violon¶

VI) Conclusion¶

1) Résultats obtenus¶

Les résultats que nous obtenons sont plutôt cohérents et étaient prévisibles. En effet, le son du piano est bien décomposé car ce sont des notes distinctes et dont les fréquences ne varient pas. Nous pouvons alors décomposé facilement ces trois notes. En ce qui concerne le son du violon, nous parvenons à séparer des groupes de fréquences. En écoutant les sources indépendentes, nous remarquons bien les activations de ces notes. Finalement, pour le son du cheval et des discussions, c'est une tâche bien plus complexe. En effet, que ce soit le cheval ou les voies, les fréquences sont parfois similaires. Ainsi, la décomposition n'arrive pas à distiguer de différence entre le son du cheval et des personnes aux alentours. Cette méthode montre alors des limites quant à la séparation de sources. Elle conviendra alors pour une séparation de fréquences distinctes, mais pas à la séparation de voies multiples. Nous ne pourrions donc pas l'utiliser pour des traitements dans l'audio visuel par exemple.

2) Compétences acquises¶

Ce projet nous aura permis d'acquérir de nombreuses compétences de groupe et individuelles, mais aussi beaucoup de connaissances.

En effet, celui-ci utilise un large pannel d'outils et de méthodes de travail indispensable pour un ingénieur. Bien que cette première expérience n'aie pas toujours été parfaitement réalisée, elle aura été très enrichissante et nous aura permis de nous projeter plus concrètement sur le travail que nous auront à effectuer, et les diffcultés que nous rencontrerons, dans les années à venir.

Finalement, nous avons appris à représenter et gérer les paramètres d’un spectrogramme grâce à la STFT et aux ondelettes, mais aussi à trouver la méthode la plus adaptée afin de factoriser notre matrice. De plus, nous avons eu l'occasion de comprendre comment initialiser correctement nos matrices grâce à différentes méthodes plus ou moins complexes. Enfin, nous avons compris comment implémenter ces techniques en python afin d’obtenir le résultat recherché.

VII) Sources¶

Les cours d'ananums en général ont été utilisés

https://www.youtube.com/watch?v=o4pPTwsd-5M

https://www.math.univ-toulouse.fr/~besse/Wikistat/pdf/st-m-explo-nmf.pdf

https://fr.wikipedia.org/wiki/Algorithme_du_gradient

https://moodle.insa-rouen.fr/mod/resource/view.php?id=7490

https://moodle.insa-rouen.fr/pluginfile.php/231759/mod_resource/content/1/cours10-ondelettes_perrier_short.pdf

https://arxiv.org/pdf/2109.03874#cite.Xue08